Kẽm Trống là khoảng trống được tạo ra bởi "hai bên là núi giữa là sông" như lời của nữ sĩ Xuân Hương đã vịnh cảnh:

Sông ở trong bài Kẽm Trống là một đoạn con sông Đáy, bên tả là núi Rùa, núi Cổ Động, núi Động Xuyên, núi Trinh Tiết trên địa phận xã Thanh Hải, huyện Thanh Liêm, tỉnh Hà Nam. Bên hữu là núi Bài Thơ, dãy núi Bạt Gia gồm các núi Bồng, núi Vọng, núi Thòng Lọng và núi Rồng thuộc xã Gia Thanh, huyện Gia Viễn, tỉnh Ninh Bình. Núi ở đây có nhiều ngọn cao thấp, có núi đá, núi đất, nhiều ngọn dựng đứng nhưng cũng nhiều ngọn thoai thoải, tạo nên các thế núi khác nhau.

Bờ bên trái, đằng sau những dãy núi nằm sát mép sông Đáy là một hệ thống núi đá vôi trùng điệp, một dải núi đá kéo dài chạy theo hướng Đông Bắc–Tây Nam từ Hòa Bình sang Thanh Hóa. Trong núi có rất nhiều hang động. Trong núi có hang nhiều khi chỉ là những kẽ nứt nhỏ, nằm ẩn sau những tảng đá to. Khi vào bên trong du khách mới thấy các hang động có diện tích khá rộng, nhiều hang xuyên hẳn qua một quả núi, có hang có thạch nhũ rủ xuống tạo nên những hình thù phong phú.

Về phía tả ngạn sông Đáy có một con sông đào dài gần 2 cây số, cả hai đầu đều nối với con sông Đáy, chảy ôm núi Rùa và núi Cổ Động trong quần thể thắng cảnh Kẽm Trống. Tương truyền, trong cuộc tuần du từ kinh đô Huế ra Bắc Hà, vua Minh Mệnh muốn xuôi dòng sông Đáy để ghé thăm Kẽm Trống và Địch Lộng (Ninh Bình). Nhưng khi nghe bài thơ của Hồ Xuân Hương vịnh cảnh Kẽm Trống, thấy những ẩn ý nghịch ngợm, nhà vua không chịu đi qua đoạn sông này mà bắt nhân dân trong vùng phải cấp tốc đào một con sông mới để thuyền ngự vượt qua. Do vậy mới có con sông đào chảy vòng này.